Adapter-based PEFT
from
FLにおける事前学習済みモデルの検討
Adapter-based PEFT
PTMの凍結された層の間にアダプタという,小NNモジュールを挿入. アダプタ部分のみ学習
cf.
Federated Adapter on Foundation Models: An Out-Of-Distribution Approach
タスク固有の知識がアダプターに集約され,モジュール性が高い
例: 全クライアントで共有するグローバルアダプタと,各クライアント固有のローカルアダプタを組み合わせ,、共通知識と個別知識の両方を効率的に学習
cf.
Dual-Personalizing Adapter for Federated Foundation Models
pros
パーソナライゼーションとの親和性が高い、モジュール性
cons
アダプターの設計、追加の推論レイテンシ